Vào mùa thu năm 560, sau khi Cao Diễn thuyết phục được Lâu thái hoàng thái hậu về sự cần thiết của hành động này, Thái hoàng thái hậu đã ban hành một chiếu chỉ phế truất Cao Ân và lập Cao Diễn làm hoàng đế, tức Hiếu Chiêu Đế. Song bên cạnh đó, Lâu Chiêu Quân cũng lệnh cho Hiếu Chiêu Đế phải thề nhất định không làm thương hại đến tính mạng của Cao Ân. Cựu hoàng đế được phong làm Tế Nam vương. Ông buộc phải dời khỏi chính cung song được đưa đến sống tại một cung phụ tại Nghiệp thành. Do Hiếu Chiêu Đế giành phần lớn thời gian của ông ta tại Tấn Dương, Cao Đam phụ trách cai quản Nghiệp thành, canh chừng Tế Nam vương.

Vào mùa thu năm 561, các pháp sư thông báo cho Hiếu Chiêu Đế rằng linh khí đế quốc vẫn nằm ở Nghiệp thành, điều này khiến Hiếu Chiêu Đế lo lắng. Trong khi đó, Cao Quy Ngạn lo rằng bản thân sẽ bị trừng phạt một khi Cao Ân đoạt lại ngôi vị, vì thế ông ta đã thuyết phục Hiếu Chiếu Đế rằng cần loại bỏ người cháu này, cuối cùng Hiếu Chiêu Đế đã ban một thánh chỉ triệu Cao Ân đến Tấn Dương. Cao Đam lúc này đang thất vọng trước việc Hiếu Chiêu Đế lập con trai ruột Cao Bá Niên làm thái tử chứ không phải ông ta, vì thế trong một thời gian ngắn Cao Đam đã định tuyên bố phục vị cho Cao Ân và khởi đầu một cuộc nổi dậy chống lại Hiếu Chiêu Đế. Tuy nhiên, Cao Đam cuối cùng đã không thực hiện điều này do các pháp sư của Cao Đam thông báo rằng họ tin Cao Đam sẽ trở thành hoàng đế vào một ngày nào đó, do đó ông ta đã đưa Cao Ân đến Tấn Dương. Ngay sau đó, Hiếu Chiêu Đế đã bí mật cử sát thủ đem rượu độc đến cho Cao Ân. Do Cao Ân từ chối uống rượu độc nên các sát thủ đã siết cổ ông đến chết. Cao Ân được mai táng với danh dự của một thân vương thay vì hoàng đế.